Homogeneous vector bundles and G-equivariant convolutional neural networks

G-equivariant convolutional neural networks (GCNNs) is a geometric deep learning model for data defined on a homogeneous G-space M. GCNNs are designed to respect the global symmetry in M, thereby facilitating learning. In this paper, we analyze GCNNs on homogeneous spaces M= G/ K in the case of unimodular Lie groups G and compact subgroups K≤ G. We demonstrate that homogeneous vector bundles are the natural setting for GCNNs. We also use reproducing kernel Hilbert spaces (RKHS) to obtain a sufficient criterion for expressing G-equivariant layers as convolutional layers. Finally, stronger results are obtained for some groups via a connection between RKHS and bandwidth

G-equivariant convolutional neural networks

Over the past decade, deep learning has revolutionized industry and academic research. Neural networks have been used to solve a multitude of previously unsolved problems and to significantly improve the state-of-the-art on other tasks, in some cases reaching superhuman levels of performance. However, most neural networks have to be carefully adapted to each application and often require large amounts of data and computational resources.Geometric deep learning aims to reduce the amount of information that neural networks have to learn, by taking advantage of geometric properties in data. In particular, equivariant neural networks use (local or global) symmetry to reduce the complexity of a learning task.In this thesis, we investigate a popular deep learning model for tasks exhibiting global symmetry: G-equivariant convolutional neural networks (GCNNs). We analyze the mathematical foundations of GCNNs and discuss where this model fits in the broader scheme of equivariant learning. More specifically, we discuss a general framework for equivariant neural networks using notions from gauge theory, and then show how GCNNs arise from this framework in the presence of global symmetry. We also characterize convolutional layers, the main building blocks of GCNNs, in terms of more general G-equivariant layers that preserve the underlying global symmetry

Mathematical Foundations of Equivariant Neural Networks

Deep learning has revolutionized industry and academic research. Over the past decade, neural networks have been used to solve a multitude of previously unsolved problems and to significantly improve the state of the art on other tasks. However, training a neural network typically requires large amounts of data and computational resources. This is not only costly, it also prevents deep learning from being used for applications in which data is scarce. It is therefore important to simplify the learning task by incorporating inductive biases - prior knowledge and assumptions - into the neural network design.Geometric deep learning aims to reduce the amount of information that neural networks have to learn, by taking advantage of geometric properties in data. In particular, equivariant neural networks use symmetries to reduce the complexity of a learning task. Symmetries are properties that do not change under certain transformations. For example, rotation-equivariant neural networks trained to identify tumors in medical images are not sensitive to the orientation of a tumor within an image. Another example is graph neural networks, i.e., permutation-equivariant neural networks that operate on graphs, such as molecules or social networks. Permuting the ordering of vertices and edges either transforms the output of a graph neural network in a predictable way (equivariance), or has no effect on the output (invariance).In this thesis we study a fiber bundle theoretic framework for equivariant neural networks. Fiber bundles are often used in mathematics and theoretical physics to model nontrivial geometries, and offer a geometric approach to symmetry. This framework connects to many different areas of mathematics, including Fourier analysis, representation theory, and gauge theory, thus providing a large set of tools for analyzing equivariant neural networks

Geometric deep learning and equivariant neural networks

We survey the mathematical foundations of geometric deep learning, focusing on group equivariant and gauge equivariant neural networks. We develop gauge equivariant convolutional neural networks on arbitrary manifolds M using principal bundles with structure group K and equivariant maps between sections of associated vector bundles. We also discuss group equivariant neural networks for homogeneous spaces M= G/ K , which are instead equivariant with respect to the global symmetry G on M . Group equivariant layers can be interpreted as intertwiners between induced representations of G, and we show their relation to gauge equivariant convolutional layers. We analyze several applications of this formalism, including semantic segmentation and object detection networks. We also discuss the case of spherical networks in great detail, corresponding to the case M= S2= SO (3) / SO (2) . Here we emphasize the use of Fourier analysis involving Wigner matrices, spherical harmonics and Clebsch–Gordan coefficients for G= SO (3) , illustrating the power of representation theory for deep learning

Productions of a pedestrian and cyclist tunnel. Comparison between productions methods.

Vi har i denna rapport jämfört produktionsmetoder vid byggande av gång- och cykeltunnel under järnväg. de metoder vi har jämfört är lansering och platsgjutning. Projektet som vi har studerat är byggandet av en gong- och cykeltunnel under järnväg vid Mjölby station. Vid detta projekt lanseras halva tunneln in och halva platsgjuts. Det vi har jämfört är dels de geotekniska aspekterna, där vi främst har tittat på vikten av förundersökningar, jordegenskapens inverkan, spontning och grundvattnets inverkan. Vi har också tittat på produktionstekniska aspekter, då främst storleken av arbetsområdet och arbetsmiljön. Vi har även betraktat ekonomi och produktionstid i de båda metoderna. Vi har i denna rapport främst använt oss av muntliga källor som gett sina synpunkter på hur tunneln ska eller bör utformas. Vi har sedan sammanställt alla synpunkter och åsikter och skaffat oss en egen uppfattning om de båda metoderna och när de bör användas. Det vi kommit fram till när vi har jämfört dessa båda metoder är att lansering har många fördelar vad gäller arbetsmiljö, tid och ekonomi. vid enklare tunnelprojekt är denna metod att föredra om förutsättningar finns. platsgjutning har dock de fördelar att den kan användas vid de flesta tunnelbyggnationer och att tågtrafiken kan flyta på utan längre störningar. Vid stora projekt som det i Mjölby anser vi att en kombination av metoderna är den allra bästa lösningen

Productions of a pedestrian and cyclist tunnel. Comparison between productions methods.

Vi har i denna rapport jämfört produktionsmetoder vid byggande av gång- och cykeltunnel under järnväg. de metoder vi har jämfört är lansering och platsgjutning. Projektet som vi har studerat är byggandet av en gong- och cykeltunnel under järnväg vid Mjölby station. Vid detta projekt lanseras halva tunneln in och halva platsgjuts. Det vi har jämfört är dels de geotekniska aspekterna, där vi främst har tittat på vikten av förundersökningar, jordegenskapens inverkan, spontning och grundvattnets inverkan. Vi har också tittat på produktionstekniska aspekter, då främst storleken av arbetsområdet och arbetsmiljön. Vi har även betraktat ekonomi och produktionstid i de båda metoderna. Vi har i denna rapport främst använt oss av muntliga källor som gett sina synpunkter på hur tunneln ska eller bör utformas. Vi har sedan sammanställt alla synpunkter och åsikter och skaffat oss en egen uppfattning om de båda metoderna och när de bör användas. Det vi kommit fram till när vi har jämfört dessa båda metoder är att lansering har många fördelar vad gäller arbetsmiljö, tid och ekonomi. vid enklare tunnelprojekt är denna metod att föredra om förutsättningar finns. platsgjutning har dock de fördelar att den kan användas vid de flesta tunnelbyggnationer och att tågtrafiken kan flyta på utan längre störningar. Vid stora projekt som det i Mjölby anser vi att en kombination av metoderna är den allra bästa lösningen